Mặc dù là người Scotland, Graham chỉ chơi bóng ở Anh và Hoa Kỳ. Ông ký hợp đồng với Aston Villa vào năm 1961, vào ngày sinh nhật thứ 17 của ông. Ông đã trải qua ba mùa giải ở câu lạc bộ Birmingham, nhưng chỉ được ra sân tám lần - mặc dù một trong số đó là trận chung kết League Cup năm 1963 thất bại trước câu lạc bộ Birmingham City. Chelsea đã đưa ông về vào tháng 7 năm 1964 với giá £ 5000. Graham ghi được 35 bàn thắng trong 72 trận cho câu lạc bộ và giành được một huy chương League Cup vào năm 1965, nhưng ông cùng với một số cầu thủ Chelsea khác ngày càng xung đột với huấn luyện viên Tommy Docherty. Đỉnh điểm của xung đột này là việc Graham và bảy người khác được Docherty gửi về nhà và xử lý kỷ luật vì vi phạm lệnh giới nghiêm trước trận đấu vào năm 1965.

Bertie Mee của Arsenal đang tìm kiếm một sự thay thế cho Joe Baker, và trả £ 75,000 cộng với Tommy Baldwin năm 1966 để mang Graham về Highbury. Ông có trận mở màn vào ngày 01 tháng 10 năm 1966 trên sân nhà trước Leicester City, và mặc dù kết quả là một thất bại 4-2 ngay lập tức ông đã trở thành một thành viên thường trực trong đội hình Arsenal. Ông là cầu thủ ghi bàn hàng đầu của Arsenal trong cả hai mùa giải 1966-67 và 1967-68, bắt đầu ở vị trí tiền đạo trung tâm cho câu lạc bộ, nhưng sau đó chuyển vào bên trong với việc John Radford di chuyển từ cánh phải lên phía trước.Với Arsenal, Graham là một trong những thành viên giành ngôi Á quân trong cả hai trận chung kết League Cup năm 1968 và 1969, trước khi giành huy chương ở chung kết Inter-Cities Fairs Cup 1969-1970. Sau đó ông trở thành một phần không thể thiếu của trong cú đúp chiến thắng của Arsenal 1970-1971, và thậm chí đã được xác nhận ghi bàn gỡ hòa của Arsenal trong trận chung kết cúp FA với Liverpool, mặc dù Eddie Kelly mới được chính thức ghi nhận cho bàn thắng đó.

Chiến thắng cú đúp ấy đã thu hút sự chú ý của Scotland và Graham đã được lựa chọn cho đội tuyển quốc gia lần đầu tiên gặp Bồ Đào Nha vào ngày 13 tháng 10 năm 1971. Ông giành chiến thắng mười hai trận cùng Scotland, ghi được ba bàn thắng, với trận đấu cuối cùng là gặp Brasil vào ngày 30 tháng 6 năm 1973. Khi đó, tuy nhiên, Graham đã không còn là một cầu thủ của Arsenal.

Sự xuất hiện của Alan Ball ở giữa 1971-1972 đã làm cho vị trí của mình trong đội hình Arsenal ít đảm bảo và do đó ông được chuyển nhượng với giá £ 120.000 cho Manchester United vào tháng 12 năm 1972. Tổng cộng, ông đã chơi 308 trận cho Arsenal, ghi được 77 bàn thắng. Ông đã dành hai năm tại United, và đã được chuyển xuống hạng Hai, trước khi tiếp tục sự nghiệp của mình ở Anh tại Portsmouth và Crystal Palace. Ông đã chơi mùa hè năm 1978 ở Mỹ cho California Surf.